2025.7.8 共役勾配法

現ステップにおける近似解が$ {\bf x}_k = (x, y)^\topのとき、その2次近似は

$ f_{II}( {\bf x}) = f(x_k) + \langle \nabla f_k, {\bf x} - {\bf x}_k\rangle + \frac{1}{2}\langle {\bf x} - {\bf x}_k, H_k ({\bf x} - {\bf x}_k)\rangle

ただし、

勾配

$ \nabla f = \left(\begin{array}{c} \partial f / \partial x \\ \partial f / \partial y\end{array}\right)

ヘッセ行列

$ H = \left(\begin{array}{cc} \partial^2 f / \partial x^2 & \partial^2 f / \partial x \partial y \\ \partial^2 f / \partial y \partial x & \partial^2 f / \partial y^2 \end{array}\right)

現在の位置$ {\bf x}_k から真の解$ {\bf x}^* に進むには、

$ p_k \propto {\bf x}^* - {\bf x}_k = {\bf s}_k

となるようなベクトル$ p_kの向きに移動すれば良い。ただし、$ {\bf s}は誤差修正ベクトルとよぶ。

そのような$ {\bf p}_kは

$ H_k {\bf p}_k \propto \nabla f_k

を満たす。このような方向$ {\bf p}_kを共役勾配という。